يحيى في منزل ابن نوح صاحب الطراز ، ونزل محمد بن خالد مع المأمون بالعمر مع الرشيد ، قال : وخلا الرشيد بالفضل ليلا ، ثم خلع عليه وقلده ، وامره ان ينصرف مع محمد الأمين ، ودعا بموسى بن يحيى فرضى عنه وكان غضب عليه بالحيرة في بدأته ، لان علي بن عيسى بن ماهان اتهمه عند الرشيد في امر خراسان واعلمه طاعه أهلها له ، ومحبتهم إياه ، وانه يكاتبهم ويعمل على الانسلال إليهم والوثوب به معهم ، فوقر ذلك في نفس الرشيد عليه واوحشه منه ، وكان موسى أحد الفرسان الشجعان ، فلما قدح علي بن عيسى فيه اسرع ذلك في الرشيد ، وعمل فيه القليل منه ، ثم ركب موسى دين ، واختفى من غرمائه ، فتوهم الرشيد انه صار إلى خراسان ، كما قيل له ، فلما صار إلى الحيرة في هذه الحجة وافاه موسى من بغداد ، فحبسه الرشيد عند العباس بن موسى بالكوفة ، فكان ذلك أول ثلمه ثلموا بها ، فركبت أم الفضل بن يحيى في امره ، ولم يكن يردها في شيء ، فقال : يضمنه أبوه فقد رفع إلى فيه ، فضمنه يحيى ودفعه اليه ، ثم رضى عنه ، وخلع عليه ، وكان الرشيد قد عتب على الفضل ابن يحيى ، وثقل مكانه عليه لتركه الشرب معه ، فكان الفضل يقول : لو علمت أن الماء ينقص من مروءتى ما شربته ، وكان مشغوفا بالسماع قال : وكان جعفر يدخل في منادمه الرشيد ، حتى كان أبوه ينهاه عن منادمته ، ويأمره بترك الانس به ، فيترك امر أبيه ، ويدخل معه فيما يدعوه اليه وذكر عن سعيد بن هريم ان يحيى كتب إلى جعفر حين أعيته حيلته فيه : انى انما اهملتك ليعثر الزمان بك عثره تعرف بها امرك ، وان كنت لأخشى أن تكون التي لا شوى لها قال : وقد كان يحيى قال للرشيد : يا أمير المؤمنين ، انا والله اكره مداخله جعفر معك ، ولست آمن ان ترجع العاقبة في ذلك على منك ، فلو اعفيته واقتصرت به على ما يتولاه من جسيم اعمالك ، كان ذلك واقعا بموافقتى ، وآمن لك على قال الرشيد : يا أبت ليس بك هذا ، ولكنك انما تريد ان تقدم عليه الفضل